Repository navigation
chore: remove a DAG sync_graph_to_neo4j e o job neo4j_sync (pré-requisito da remoção da VM) - #216
Merged
Merged
Conversation
Nenhum serviço lê do Neo4j: graphql-api, gobus e portal leem o grafo de entity_edges no Postgres. O único uso era esta DAG, que projetava o Postgres no Neo4j a cada 6 h. A VM do Neo4j vai ser removida no infra. - Remove dags/sync_graph_to_neo4j.py, jobs/graph/neo4j_sync.py e os testes. - Remove a entrada do teste apagado no .secrets.baseline. - Ajusta docstrings que citavam a DAG/teste como padrão de referência. project_entity_graph.py e jobs/graph/edges.py ficam como estão (escrevem entity_edges, news_entities, entity_stats e entity_graph_meta, lidos pela API). Parte da Onda 1 de redução de custos do GCP (destaquesgovbr/infra#223). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Parte da Onda 1 de redução de custos do GCP (destaquesgovbr/infra#223).
Important
Este PR precisa ser mergeado antes do PR do infra que remove a VM do Neo4j. Se a VM sair primeiro, a DAG
sync_graph_to_neo4j(schedule30 */6 * * *) passa a falhar a cada 6 h.Contexto
Nenhum serviço lê do Neo4j. O graphql-api, o gobus e o portal leem o grafo de
entity_edgesno Postgres. O único uso era a DAGsync_graph_to_neo4j, que copiava uma projeção do Postgres (entity_registry+entity_edges) para o Neo4j via Bolt, 30 min depois de cadaproject_entity_graph.Mudança
Arquivos removidos:
src/data_platform/dags/sync_graph_to_neo4j.pysrc/data_platform/jobs/graph/neo4j_sync.pytests/unit/dags/test_sync_graph_to_neo4j.pytests/unit/jobs/graph/test_neo4j_sync.pyLimpeza:
.secrets.baseline: tirei a entrada detest_neo4j_sync.py, um falso positivo da senha fake do teste.dags/canonicalize_backfill.py,tests/unit/dags/test_ner_backfill.pyetests/unit/dags/test_canonicalize_backfill.pycitavam a DAG ou o teste apagados como "padrão de referência". Ajustei o texto; o código não mudou.Não havia outras referências a limpar. O
jobs/graph/__init__.pyé vazio. Oneo4jnão está nopyproject.tomlnem nopoetry.lock: o driver só existe no Composer. Também não há menção à DAG noCLAUDE.md, emdocs/nem nos conftests.Ficam intactos, como pedido:
dags/project_entity_graph.pyejobs/graph/edges.py. Eles escrevementity_edges,news_entities,entity_statseentity_graph_metano Postgres, que a API lê. Os planos em_plan/também ficam, porque são histórico.Deploy
maindispara ocomposer-deploy-dags.yaml(mudanças emsrc/data_platform/dags/**esrc/data_platform/jobs/**). Ogsutil rsync -r -ddo workflow reutilizável tirasync_graph_to_neo4j.pyda pasta de DAGs do bucket do Composer. Orsync -r -ddos plugins tirajobs/graph/neo4j_sync.py.airflow dags delete.Fica para o PR do infra
Referências ao Neo4j fora deste repo, que o PR da VM deve remover:
infra/terraform/composer.tf: o pacote PyPIneo4j >=5.0do Composer e a env varNEO4J_BOLT_URL_SECRET.infra/terraform/composer_secrets.tf: o secretairflow-variables-neo4j_bolt_url, que vira a Airflow Variableneo4j_bolt_url.infra/terraform/neo4j.tf: a VM.Testes
poetry run pytest tests/unit/ --cov=data_platform --cov-report=term-missing --cov-fail-under=70(mesmo comando dotests.yaml): 1331 passed, 5 skipped, cobertura 82,81%. Opre-commit(ruff, ruff-format e detect-secrets) passou nos arquivos alterados.🤖 Generated with Claude Code